Tun Ibrahim dilahirkan pada 19 Oktober 1922. Ayahanda beliau, Dato' Ismail bin Abu Bakar adalah pegawai Kerajaan Johor yang bersara sebagai Bendahari Kerajaan Johor. Pada masa yang sama, Dato' Ismail juga pegawai dalam Pasukan Tentera Sukarela Johor (Johore Volunteer Force, JVF).

Tun Ibrahim mendapat pendidikan awal di Sekolah Melayu Air Molek. Beliau kemudian bertukar ke Sekolah Inggeris Ngee Heng dan Sekolah Inggeris Bukit Zaharah. Pendidikan Menengah beliau dapati di English College, kini Maktab Sultan Abu Bakar sehingga tamat Senior Cambridge.

Pada awalnya beliau bercita-cita hendak menjadi akauntan, namun kekurangan peluang ketika itu mengubah pendirian beliau untuk menyertai kerjaya tentera. Sebagai rakyat Johor bagaimanapun, beliau tidak boleh menganggotai Askar Melayu kerana ianya hanya dibuka untuk rakyat Negeri-negeri Melayu Bersekutu iaitu Perak, Selangor, Pahang dan Negeri Sembilan. Oleh itu beliau menyertai pemilihan pegawai kadet JMF pada April 1941. Beliau diterima dan dihantar ke Dehra Dun, India, bersama dua orang lagi pegawai kadet iaitu, Hussein Onn dan Ungku Ahmad bin Ungku Abdul Rahman.